Ông có một người vợ là bà Lê Thị Vân (1892-1953) và 16 người con (3 người mất từ nhỏ). Trong đó:
Người con cả là Phạm Giao (sinh năm Tân Hợi 1911), kết hôn với bà Nguyễn Thị Hy, con gái ông Nguyễn Văn Ngọc. Về sau bà Hy kết hôn với ông Trần Huy Liệu, sinh được hai người con, một gái, một trai.
Người con gái hai là bà Phạm Thị Giá (sinh năm Quý Sửu 1913), vợ của quan Đốc học trường Thăng Long Tôn Thất Bình.
Người con gái thứ ba là bà Phạm Thị Thức (sinh năm Ất Mão 1915), vợ của Giáo sư Đặng Vũ Hỷ. Hai ông bà có người con trai là Đặng Vũ Minh, Giáo sư Tiến sĩ, Chủ tịch Viện khoa học và Công nghệ Việt Nam.
Người con trai thứ tư là Phạm Bích (sinh năm Mậu Ngọ 1918), Tiến sĩ Luật đã mất ở Thụy Sĩ.
Người con gái thứ năm là Phạm Thị Hảo (sinh năm Canh Thân 1920), vợ Dược sĩ Phùng Ngọc Duy, hiện sống tại Washington D.C., Hoa Kỳ.
Người con thứ sáu là Phạm Thị Ngoạn (sinh năm Tân Dậu 1921), Tiến sĩ Văn chương, vợ của nhà văn Hán Thu Nguyễn Tiến Lãng.
Người con thứ bảy là cố Giáo sư Phạm Khuê (sinh năm Ất Sửu 1925), Nhà giáo nhân dân, nguyên Viện trưởng Viện Lão khoa, nguyên Chủ tịch Hội Người cao tuổi Việt Nam; Đại biểu Quốc hội khóa X.
Người con thứ tám là Phạm Thị Hoàn (sinh năm Mậu Thìn 1928), từng là ca sĩ. Chồng bà là nhạc sĩ Lương Ngọc Châu (cháu nội chí sĩ Lương Văn Can), tác giả những ca khúc như Tiếng hát lênh đênh, Một đi không trở về...
Người con thứ chín là nhạc sĩ Phạm Tuyên (sinh đầu năm 1930, tuổi Kỷ Tỵ), Chủ tịch Hội Âm nhạc Hà Nội.
Người con thứ mười là Phạm Thị Diễm (Giễm) sinh năm Tân Mùi 1931, định cư tại Pháp.
Người con thứ mười một là Phạm Thị Lệ sinh năm Giáp Tuất 1934, định cư tại Pháp.
Người con thứ mười hai là Phạm Tuân sinh năm Bính Tý 1936, định cư tại Hoa Kỳ.
Người con thứ mười ba là Phạm Thị Viên sinh năm Mậu Dần 1938, định cư tại Pháp.[2].
